Al in de 14de eeuw stond er al een kasteel op de plaats van het huidige Altena. Volgens sommige historici was het een robuust en merkwaardig gebouw, dat al in de 14de eeuw, met de toestemming van de graven van Vlaanderen, door kasteleins bewoond werd. Het werd in 1368 vernieuwd en in 1380 tegen de Gentenaars verdedigd door kastelein Mark Van Schoonvelde.
Het huidige kasteel werd in 1594 gebouwd ter vervanging van het tien jaar vroeger afgebrande kasteel. Tot in 1850 werd het zonder onderbreking bewoond door de familie Lanfranchy. Daarna kwam het in bezit van E. P. Filip, ridder le Boucq de Beaudignies, die in 1878 het waterkasteel herstelde en vergrootte naar ontwerp van architect en stijlvirtuoos Joseph Schadde.
Van 1946 tot 2000 is Altena bezit van de Zusters van de H. Vincentius à Paulo, gevestigd te Beveren, die het al die tijd als rustoord hebben uitgebaat. In 2000 werd het kasteel overgenomen door de Congregatie van de Broeders van Liefde te Gent. Deze orde nam er zijn intrek vanaf midden oktober 2000 om er een studie en vormingscentrum van het International Canon Triest te openen.
Sinds 2017 is Altena onbewoond nadat de Broeders van Liefde er vertrokken zijn. De Broeders hebben wel de uitdrukkelijke wens geuit dat het kasteeldomein niet in privé-handen zou vallen en wil er liefst een sociale bestemming aan geven. Vandaag huisvest kasteel Altena een zorgcentrum dat zich specifiek richt op mensen met een beperking.